- InfiniBand
-
Infiniband — высокоскоростная коммутируемая последовательная шина, применяющаяся как для внутренних (внутрисистемных), так и для межсистемных соединений.
Описания Infiniband специфицированы, поддержкой и развитием спецификаций занимается InfiniBand Trade Association .
Содержание
Краткое описание
Подобно PCI Express, Infiniband использует двунаправленную последовательную шину. Базовая скорость — 2,5 Гбит/с в каждом направлении, применяются порты, состоящие из групп в 1x, 4x и 12x базовых двунаправленных шин (англ. lanes). Существуют режимы Single Data Rate (SDR) - работа с базовой скоростью, Double Data Rate (DDR) - битовая скорость равна удвоенной базовой и Quad Data Rate (QDR) - соответственно, учетверенной. Режимы SDR, DDR и QDR используют кодирование 8B/10B. В настоящий момент (2011 г.) чаще всего применяются порты 4x QDR.
Базовая скорость 1х шины для режима FDR составляет 14.0625 Гбит/с, а для EDR 25.78125 Гбит/с. Режимы FDR и EDR используют кодирование 64/66B.
Основное назначение Infiniband — межсерверные соединения, в том числе и для организации RDMA (Remote Direct Memory Access).
Пропускная способность интерфейса Infiniband, raw / data SDR DDR QDR FDR EDR 1X 2,5 / 2 Гбит/с 5 / 4 Гбит/с 10 / 8 Гбит/с 14,0625 / 14 Гбит/с 25,78125 / 25 Гбит/с 4X 10 / 8 Гбит/с 20 / 16 Гбит/с 40 / 32 Гбит/с 56,25 / 56 Гбит/с 103,125 / 100 Гбит/с 12X 30 / 24 Гбит/с 60 / 48 Гбит/с 120 / 96 Гбит/с 168,75 / 168 Гбит/с 309,375 / 300 Гбит/с Отличительные особенности FDR
FDR InfiniBand характеризуется следующими основными параметрами:
Параметры Link speed увеличились до 14 Гбит/с на линию или 56 Гбит/с по четырем линиям, т. е. увеличение происходит почти на 80% по сравнению с предыдущими поколениями InfiniBand (большинство портов InfiniBand представлены портами с четырьмя линиями);
Показатель Link кодировки для FDR InfiniBand был изменен с 8 бит/10 бит на 64 бит/66 бит. Это позволило повысить эффективность передачи данных и подключения устройств хранения;
Улучшены механизмы коррекции ошибок сети за счет использования технологии Forward Error Correction, которая позволяет устройствам InfiniBand исправлять битовые ошибки в сети и сокращает издержки на данные транзакции. Новый механизм обеспечивает высокую надежность сети, в частности для крупных ЦОДов, высокопроизводительных вычислений и облачных сервисов.
С появлением FDR InfiniBand 56Gb/s с поддержкой PCIe Gen3, ConnectX-3 стало возможным удвоить пропускную способность сетей хранения данных, что позволяет устранить одно из самых узких мест в современных серверных решениях.
Протоколы и API
Infiniband используется следующими протоколами и API:
- RDMA (англ. Remote Direct Memory Access) — группа протоколов удалённого прямого доступа к памяти, при котором передача данных из памяти одного компьютера в память другого компьютера происходит без участия операционной системы, при этом исключается участие CPU в обработке кода переноса и необходимость пересылки данных из памяти приложения в буферную область ОС, то есть данные пересылаются напрямую на соответствующий сетевой контроллер.
- uDAPL (англ. User Direct Access Programming Library) — библиотека API для абстрактного транспорта прямого доступа (англ. Direct Access Transport, DAT). uDAPL (и другие API — в частности kDAPL — kernel DAPL) разрабатывается и поддерживается организацией DAT Collaborative.
- IPoIB (IP over Infiniband) — группа протоколов, описывающих передачу IP-пакетов поверх Infiniband:
- SRP (англ. SCSI RDMA Protocol) — протокол обмена данными между SCSI-устройствами с использованием RDMA. Определён в стандарте ANSI INCITS 365—2002.
- DDP (англ. Direct Data Placement): RFC 4296 —— архитектура для реализации прямого размещения данных (DDP) и удаленного прямого доступа к памяти (RDMA) в Internet-сетях.
- SDP (англ. Socket Direct Protocol) — протокол установления виртуальных соединений и обмена данными между сокетами поверх Infiniband, передача данных не использует TCP-стек операционной системы, однако использует IP-адреса и может использовать IPoIB для их разрешения.
Характеристики
- Производители: наиболее распространены аппаратные решения от компаний Qlogic, Mellanox, Voltaire, Topspin. Компания Topspin была приобретена компанией Cisco в 2005-м году, Mellanox купил Voltaire в 2010-м[1], а Intel приобрел Qlogic в 2012-м[2].
- Тесты производителей показывают пропускную способность на уровне MPI порядка единиц и десятков сотен МБ/сек и время передачи коротких сообщений порядка 1—7 мкс.
- Топология: коммутируемая с использованием Fat Tree для больших конфигураций, существующие коммутаторы поддерживают большое количество (>256) портов.
- Программное обеспечение: драйверы от производителей аппаратных средств, различные библиотеки MPI как коммерческие так и открытые.
- Корпорацией Oracle Corporation был разработан специальный протокол RDS, ориентированный на работу с этой шиной.
Другие сети для суперкомпьютеров
Ниже приведены наиболее часто используемые типы коммуникаций для суперкомпьютеров и их основные характеристики.
Примечания
Ссылки
- Обзор InfiniBand // МКА
- Реклама: FDR InfiniBand — протокол нового поколения // PC Week Review: HPC-системы, февраль 2012
Компьютерные шины Основные понятия Шина адреса • Шина данных • Шина управления • Пропускные способности Процессоры BSB • FSB • DMI • HyperTransport • QPI Внутренние AGP • ASUS Media Bus • EISA • InfiniBand • ISA • LPC • MBus • MCA • NuBus • PCI • PCIe • PCI-X • Q-Bus • SBus • SMBus • VLB • VMEbus • Zorro III Ноутбуки ExpressCard • MXM • PC Card Накопители ST-506 • ESDI • ATA • eSATA • Fibre Channel • HIPPI • iSCSI • SAS • SATA • SCSI Периферия 1-Wire • ADB • I²C • IEEE 1284 (LPT) • IEEE 1394 (FireWire) • Multibus • PS/2 • RS-232 • RS-485 • SPI • USB • Игровой порт Универсальные Futurebus • InfiniBand • QuickRing • SCI • RapidIO • IEEE-488 • Thunderbolt (Light Peak) Категории:- Сетевые кабели
- Последовательные шины
- Серверное оборудование
- Сети суперкомпьютеров
Wikimedia Foundation. 2010.